Năm 763, khi Sử Triều Nghĩa vừa bị dẹp thì quân Thổ Phiên vào đánh. Đường Đại Tông chạy về phía đông đến Thiểm châu, Ngư Triều Ân mang hết quân bản bộ ra hộ giá tại Hoa Âm. Đại Tông thưởng công hộ giá cho Triều Ân, phong ông làm Thiên hạ quan quân dung, Tuyên úy, Xử trí sứ, chuyên trách thống lĩnh các sắc quân và ban thưởng rất nhiều.

Sau đó Đường Đại Tông phải trọng dụng Quách Tử Nghi trở lại. Tử Nghi đuổi được quân Thổ Phiên. Ngư Triều Ân có công điều động Lưu Đức Tiến đánh lui một cánh quân Thổ Phiên nên tỏ ra cậy công[5].

Sang năm 764, Thổ Phiên lại uy hiếp kinh thành Trường An. Triều đình lại dựa vào Quách Tử Nghi một lần nữa đẩy lui được quân Thổ Phiên. Ngư Triều Ân tâu với Đại Tông nên bỏ Trường An thiên đô sang Lạc Dương để tránh xa địch, nhưng bị Quách Tử Nghi và các cận thần phản đối. Đại Tông không theo lời Triều Ân.